草庐IT

GPU 加速

全部标签

流图计算在蚂蚁数仓加速场景的应用

一、流图计算引擎TuGraph-AnalyticsTuGraph-Analytics是蚂蚁自研的实时图计算引擎,目前广泛应用于蚂蚁金融风控、知识图谱等业务场景。其形态接近于Spark或Flink这样的计算引擎,具有分布式流图计算的能力,类似于SparkGraphX和TigerGraph。但与它们最大的区别是TuGraph-Analytics是个流图计算引擎,它具备流批一体的能力,能处理流式图数据,也能做批量的图的分析,另外也具备图的OLAP分析的能力。上图中列出了TuGraph-Analytics的发展历程,16年就已经立项,当时基于内部的流式计算引擎扩展了图的能力,实现了初代的流图计算引擎。

进一步加速落地:压缩自动驾驶端到端运动规划模型

本文经自动驾驶之心公众号授权转载,转载请联系出处。原标题:OntheRoadtoPortability:CompressingEnd-to-EndMotionPlannerforAutonomousDriving论文链接:https://arxiv.org/pdf/2403.01238.pdf代码链接:https://github.com/tulerfeng/PlanKD作者单位:北京理工大学ALLRIDE.AI河北省大数据科学与智能技术重点实验室论文思路端到端的运动规划模型配备了深度神经网络,在实现全自动驾驶方面展现出了巨大潜力。然而,过大的神经网络使得它们不适合部署在资源受限的系统上,这无

java - 如何绑定(bind)命令-?作为帮助菜单的 Swing Action 加速器?

帮助的标准组合键是command-?在mac上。如何将此组合键绑定(bind)到菜单项。注意:由于我们的用户有不同的键盘布局,我正在寻找一种不需要了解什么键“?”的解决方案。位于。使用KeyStroke.getKeyStroke(String),javadoc说;Parsesastringandreturnsa`KeyStroke`.Thestringmusthavethefollowingsyntax:*(|)modifiers:=shift|control|ctrl|meta|alt|button1|button2|button3typedID:=typedtypedKey:=st

开源模型应用落地-qwen1.5-7b-chat与vllm实现推理加速的正确姿势(八)

一、前言  就在前几天开源社区又发布了qwen1.5版本,它是qwen2模型的测试版本。在本篇学习中,将集成vllm实现模型推理加速,现在,我们赶紧跟上技术发展的脚步,去体验一下新版本模型的推理质量。二、术语2.1.vLLM  vLLM是一个开源的大模型推理加速框架,通过PagedAttention高效地管理attention中缓存的张量,实现了比HuggingFaceTransformers高14-24倍的吞吐量。2.2.qwen1.5   Qwen1.5是Qwen2的测试版,这是一个基于转换器的纯解码器语言模型,在大量数据上进行了预训练。  Incomparisonwiththeprevi

Meta新增两大万卡集群,投入近50000块英伟达H100 GPU

Meta日前推出两个功能强大的GPU集群,用于支持下一代生成式AI模型的训练,包括即将推出的Llama3。据悉,这两个数据中心的GPU数量均高达24,576块,专为支持比之前发布的更大、更复杂的生成式AI模型而构建。作为一种流行的开源算法模型,Meta的Llama能与OpenAI的GPT和Google的Gemini相媲美。Meta刷新AI集群规模 极客网了解到,这两个GPU集群都采用了英伟达当前功能最强大的H100GPU,并且比Meta之前推出的大型集群规模要大得多。此前Meta的集群约有16,000块NvidiaA100GPU。据报道,Meta为此抢购了数千块英伟达最新推出的GPU。调研机构

PPIO王闻宇:论GPU的过去、现在和未来|AIGC基石思考之算力哲学

00前言:算力与GPU算力,即计算能力(ComputingPower)。更具体来说,算力是通过对信息数据进行处理,实现目标结果输出的计算能力。最早的算力引擎。是人类的大脑,后来演变成草绳、石头、算筹(一种用于计算的小棍子)、算盘。到了20世纪40年代,世界上第一台数字式电子计算机ENIAC诞生,人类算力正式进入了数字电子时代。再后来,随着半导体技术的出现和发展,我们又进入了芯片时代,芯片成为了算力的主要载体。进入21世纪后,算力再次迎来了巨变,云计算技术出现,算力云化之后,数据中心成为了算力的主要载体。人类的算力规模,开始新的飞跃。我们通常将目前负责输出算力的芯片,分为通用芯片和专用芯片。专用

【DataWhale学习】用免费GPU线上跑chatGLM项目实践

用免费GPU线上跑chatGLM项目实践​DataWhale组织了一个线上白嫖GPU跑chatGLM与SD的项目活动,我很感兴趣就参加啦。之前就对chatGLM有所耳闻,是去年清华联合发布的开源大语言模型,可以用来打造个人知识库什么的,一直没有尝试。而SD我前两天刚跟着B站秋叶大佬和Nenly大佬的视频学习过,但是生成某些图片显存吃紧,想线上部署尝试一下。参考:DataWhale学习手册链接1学习简介本文以趋动云平台为例,详细介绍下如何通过平台提供的在线开发环境,直接在云端编写、运行代码,并使用GPU资源进行加速。本教程将学习云算力资源的使用方式,并给出了两个AI项目实践:用免费GPU创建属于

探索Redis的多样应用场景:加速和优化现代应用

人不走空                                          🌈个人主页:人不走空      💖系列专栏:算法专题⏰诗词歌赋:斯是陋室,惟吾德馨目录      🌈个人主页:人不走空      💖系列专栏:算法专题⏰诗词歌赋:斯是陋室,惟吾德馨实时数据分析与缓存会话管理和用户状态存储消息队列和发布/订阅系统地理位置数据存储分布式锁和并发控制总结作者其他作品: 随着互联网的迅速发展和数据量的爆炸性增长,现代应用程序对于快速、可靠的数据存储和高效的数据处理需求日益增长。在这种背景下,Redis作为一种高性能的内存数据库和缓存服务器,被广泛应用于各种场景中。在本文中,我们

华为与伙伴共筑“通往数智世界的捷径”,加速千行百业数智化转型

随着科技的飞速发展,数字化、智能化已成为企业转型升级的必然趋势。然而,企业在探索数智化转型的过程中,却面临着技术复杂、市场快速变化,用户需求多样化等诸多挑战。根据埃森哲发布的《2023年中国数字化转型指数》报告显示,只有2%的中国企业正在进行全面、持续的数字化转型,以推动长期、可持续的增长。只有28%的企业认识到数字化转型是一个持续的过程,企业在构建重塑所需的关键能力方面落后。可见,数智化转型仍然任重道远。然而,数智化转型不应成为企业的负担,而是其发展的新引擎。为此,华为始终坚持“把复杂留给自己,把简单带给客户”的理念,通过“伙伴+华为”体系,为企业打造一条通往数智世界的捷径。化繁为简,“一触

GPU并行效率问题——通过MPS提升GPU计算收益

现象描述使用V100_32G型号的GPU运行计算程序时,发现程序每5秒能够完成一次任务,耗费显存6G。鉴于V100GPU拥有32G的显存,还有很多空闲,决定同时运行多个计算程序,来提升GPU计算收益。然而,这一切都是想当然的。运行多个计算程序时,每个计算程序的处理耗时大大增加。例如,同时运行4个计算程序,则这些计算程序差不多需要20秒才能完成一次任务,几乎是单进程运行时的4倍,算上并行的收益,20秒能够处理4个任务,这和单进程的计算程序的运行效果几乎没有区别,也就是说,多进程并行和单进程运行完全没有效率的提升。单进程:5秒/任务4进程:20秒/任务问题原因一种可能的解释是,当前的计算程序对GP